Add API to retrieve statistics from transactions, use it in commit

It's just interesting to see =) This is also kind of prototyping out
some more "structured" output.

lib: Use -export-symbol-regex

Just a small step towards being a better library.

fsck: Fix crash on repositories with < 10 objects

pull: Tweak status line again, do what git does

Almost, we don't have bytes transferred.  And we lie about percentages
since as metadata comes in the total number of objects to fetch goes
up.

main: Fix previous commit to find repo in cwd over /ostree/repo

The tests when run inside gnome-ostree broke, and this is better
behavior.

main: Support using repo from current directory

$ cd repo
$ ostree ls foo /
...

Can be a lot more convenient than typing --repo=repo a lot.

TODO: More bits about commit objects

Drop support for related objects and metadata in commit objects

While the actual commit object format is presently the same, for a
number of reasons we'd like to change it fairly radically.  Among
other things, we need to drop our a{sv} types in objects, to protect
against GVariant changing format.

Since now gnome-ostree now longer uses related objects, and nothing
ever used metadata, just drop them both.

main: Fix an uninitialized variable

pull: Always scan for commit object, even if ref is unchanged

If the admin encounters corruption and does:

$ ostree admin fsck --delete

We want them to be able to recover the objects easily from the
network; with this patch, they do:

$ ln -s dummyvalue /ostree/repo/transaction
$ ostree refs --delete remotename:branchname
$ ostree pull remotename

This patch avoids the need for the refs --delete; we might as well
force scan the commit, and with this patch we still print that it
changed.

main: ls: Behave like standard Unix "ls" with directories

Default to listing directory contents, add -d/--dironly to suppress
this.

main: Squash a compiler warning

main: Consistently use "opt_" as a prefix for option local variables

This makes it easier to find where we're using global state, which is
useful when refactoring code into libostree.

main: commit: Drop broken --parent option

No idea why we had this, it didn't do anything in the current code.
Noticed while doing other refactoring.

main: Drop log builtin

We may revive this later, but commits in their current form aren't
very useful for humans to read, so it doesn't make sense to have a
tool to show a history of useless stuff.

More interesting things are diffs between commits, object statistics,
etc.

main: pull: Reduce the status line length a bit

Drop "objects" where it's obvious [ to me anyways =) ], and drop the
bytes transferred since our math was off, and the HTTP status kind of
shows that.

TODO: Add an item about commit objets

admin: Add an "undeploy" command

Otherwise it's really easy to keep accumulating deployments.  Also, we
may want to run this after rebooting, so we're back down to one
operating system.

core: Don't strip setuid bits when creating files

This ugly regression occurred because I overlooked the fact that our
chown() invocation would strip off setuid.

main: show: Don't strip mode, let's see the whole thing

Just useful for debugging.

main: Add --delete option to fsck

This is useful for clearing out all corrupted objects locally.

main: Clean up fsck code: honor --quiet, warn (but continue) on missing objects

When we make fsck --delete work again, it will be convenient to
continue on missing objects.

Update libgsystem

main: Make "ostree show" actually useful for files

We already have "ostree cat" for files, here we want to see a dump of
the metadata.

TODO: Add more

tests: Add a test for link checkout speedup

diff: Add --stats option

This a neat way to see how many objects are shared between two
commits.

main: Add --link-checkout-speedup option to commit

And disable devino scan by default.  For the gnome-ostree build case,
our commits are from "make install DESTDIR=", so they won't be
hardlinks into the repo.  In that case, particularly as the repository
size grows, the cost of building up the devino -> checksum mapping
becomes a problem.

The compose step will use this option though.

doc: Fix a typo

https://bugzilla.gnome.org/show_bug.cgi?id=704365

Release 2013.4

doc: A long overdue manpage update

Ok, just a little one, but still.  I actually updated documentation!

main: Move GCancellable to toplevel

This is just cleaner, and makes the builtins slightly more of a
library, which in turn makes it easier to turn them into real API.

prune: Don't fail if a to-be-pruned object doesn't exist

Previously, if a prune was interrupted, further attempts would fail.
It's just better to silently continue here.

Drop support for fifos and devices

While the first was useful way back in the day when we were importing
Debian bits and /sbin/init was expecting to find /dev/.initctl as a
named pipe, that's no longer an issue with systemd since it uses
dynamic Unix sockets.

Likewise, character and block devices in /dev are now dynamically
created by the devtmpfs from the kernel.

Less complexity and code here if we just support directories, regular
files, and symbolic links.

core: Drop a leftover unnecessary #define _GNU_SOURCE

We now use AC_USE_SYSTEM_EXTENSIONS.

core: Use gsystem API for generating temporary names

Drops duplicated code.

core: Use gs_file_create()

This allows us to drop a chmod() invocation, since the regular file
path was the only thing that didn't handle mode.

Update libgsystem

admin: Rename prune -> cleanup, avoid doing repo prune twice

Calling it "cleanup" is better since it does more than repo pruning.

We were also doing a prune twice; ot_admin_cleanup() already does one,
so drop the bits to do it in cleanup.c.

admin: Initialize sysroot to / by default, not garbage from the stack

Oops.

admin status: Print out origin too

This is useful data.

main: Also make ostree admin foo --help work

A followup for the previous commit.

main: Only parse options in subcommands

This makes e.g. "ostree commit --help" work, which is really good.

main: Don't look for /sysroot/ostree too

No longer necessary now that we expect OS/ trees to have
/ostree -> /sysroot/ostree.

Use AC_USE_SYSTEM_EXTENSIONS instead of #define _GNU_SOURCE

It's less copy/paste, works everywhere, etc.

Also fix some missing #include "config.h".

main: Print "error: " prefix on errors

It's just clearer that something went wrong.

admin: Add a warm fuzzy message to deploy about transactions

Since it sounds cool and stuff.

TODO: Misc updates

Delete leftover kernel update hooks

Build without libsoup again

ostree: Some header file cleanups

cmd: Drop "ostree admin install" and curl fetcher

It isn't useful at the moment, since the deploy stuff all changed.  It
will make sense to bring back later, but for now let's not carry
broken untested code.

libostree: Move pull code into here

More library work.

libostree: Move prune into OstreeRepo namespace

More library work.

libostree: Rename ostree-traverse.h into OstreeRepo namespace

This operates on the repo, it might as well be methods on it.

libostree: Split off -refs.c

Continuing to break up ostree-repo.c.

libostree: Split off libarchive code

libostree: Start splitting up the monstrous ostree-repo.c

Checkout now lives in its own file.

Switch to #pragma once for headers

It's just less tedious, and we're GCC/LLVM specific anyways.

pull: Explicitly use thread-default main context

As preparation for pushing our own temporary context.

admin: Use internal pull API instead of subprocess

So we're doing more of the library thing.

pull: Destroy queue watching GSource

When being more of a library, we can't leave garbage attached to the
default main context.

core: Move pull logic into an API

The general trend should be becoming more of a shared library with
command line wrappers.

pull: Add "tls-permissive" config option to disable SSL/TLS certificate checks

Like GIT_SSL_NO_VERIFY=true, available for the same reasons.

pull: Verify SSL/TLS certificates against system CA file by default

We also need a mechanism like GIT_SSL_NO_VERIFY...probably an option
in the config.

prepare-root: Don't be strict about the sysroot mount name here

While the systemd integration effectively requires /sysroot, it will
help people trying to use OSTree with other initramfs systems
(e.g. initramfs-tools) if we don't hardcode that requirement in this
tool.

tests: Add a test of corruption during a pull process

These corruption tests could be a lot better...like randomly try
single bit flips, range flips.  Better, content-aware fuzzing.  But
this is useful for now.

tests: Drop numeric prefix

Theoretically it's useful to have layers of tests, but in practice
it's just annoying to assign numbers.

Fix test reference to obsolete ostree-pull

It was leftover in my buildroot =/

repo: Store transaction file, use it to optimize for pull resumes

If pull is interrupted, we may have downloaded an arbitrary subset of
the requested objects.  Previously, we handled this by scanning for
all objects each time.

However, there's an easy optimization - this patch creates a lock file
in the repo.  If we don't see that file when starting a pull, we know
we don't need to stat() every file; presence of a dirtree object for
example implies the existence of everything it references.

Drop obsolete GRUB2 and kernel update hooks

We only support syslinux at the moment; grub2 should learn to parse
the bootloader spec.

Release 2013.3

Add a few more bits to EXTRA_DIST

Remove stub daemon code

This really shouldn't have lived so long...it does nothing now, and we
should probably just be exposing an API for packagekit anyways.

Remove built in "triggers"

Originally, the idea was that clients would replicate "OS/tree"s from
a build server, but we'd run things like "ldconfig" on the client.
This was to allow adding e.g. the nVidia binary driver.

However, the triggers were the only thing in the system at the moment
that really had expected knowledge of the *contents* of the OS, like
the location of binaries.

For now, it's architecturally cleaner if we move the burden of
triggers to the tree builder (e.g. gnome-ostree or RPM).  Eventually
we may want OSTree to assist with this type of thing (perhaps
something like RPM %ghost), but this is the right thing to do now.

admin: Fix various compiler warnings

admin: Also delete unsed boot directories

My VM filled up /boot.  Oops.

admin: Split up the monstrous ot-admin-functions.c

Now util, cleanup, and functions.

Switch to libgsystem local allocation macros

And drop our compatibility wrapper.

[INCOMPATIBLE CHANGE] Implement new deployment model

See https://wiki.gnome.org/OSTree/DeploymentModel2

This is a major rework of the on-disk filesystem layout, and the boot
process.  OSTree now explicitly supports upgrading kernels, and these
upgrades are also atomic.

The core concept of the new model is the "deployment list", which is
an ordered list of bootable operating system trees.  The deployment
list is reflected in the bootloader configuration; which has a kernel
argument that tells the initramfs (dracut) which operating system root
to use.

Invidiual notable changes that come along with this:

1) Operating systems should now come with their etc in usr/etc; OSTree
   will perform a 3-way merge at deployment time, and place etc in
   the actual root.  This avoids the need for a bind mount, and is
   just a lot cleaner.
2) OSTree no longer bind mounts /root, /home, and /tmp.  It is expected
   that the the OS/ has these as symbolic links into /var.

At the moment, OSTree only supports managing syslinux; other
bootloader backends will follow.

deploy: Error out if we see usr/etc

This version of the code doesn't know what to do with new-model trees,
so just abort if we see that.  We'll likely never care about upgrades
from 1.0 to 2.0.

core: Allow '.' in refspecs too

For version numbers.

Add "trivial-httpd" builtin, use it in tests

A simple HTTP server implementation is so few lines of code when one
is linking to libsoup anyways, so let's just have one here in ostree
that will be used for the test suite.

This allows us to run the archive tests that previously required
apache even in gnome-ostree.

tests: Pull from file:/// only works with archive-z right now

pull: Make fetcher work for file:/// URIs too

Even if very suboptimally, for now; we copy the files, then copy them
again.

The obvious long term plan is to merge pull-local and pull together,
but truly optimizing that requires the pull code to know how to use
the OstreeRepo APIs when operating on local repositories (as
pull-local does), rather than assuming the remote is an archive-z
fetched over HTTP.

Add support for deleting refs

The internal API will be used by admin, and "ostree refs --delete"
is handy for interactive management.

Add "refs" builtin

This is just useful to look at before pruning, etc.

Add a bit more testing for prune

Extract prune logic into an internal API

This will be used by ostree admin deploy.

pull-local: Support --remote argument

For offline upgrades, pull-local can now write the refs into a
specific remote, rather than using the local heads.

core: Add "refspec" which is remote:refname

This allows an unambiguous reference; otherwise, it was too easy to
have confusion between local heads and remotes.

gioutils: Many new utility functions

Reading symbolic links becomes a much more common thing now.

prepare-root: Only bind mount /home, /tmp, /root if they are directories

What we expect for new systems is for these to be symbolic links:
/home -> /sysroot/home
etc.

core: Port more callsites to gs_file_enumerator_iterate()

See previous commit.

core: Update libgsystem, port some uses of GFileEnumerator

This makes the code *so* much nicer.

pull-local: Fix race condition pointed out by Benjamin

We could drop into g_main_loop_run() after the worker
thread had called g_main_loop_quit().

Fix this by following the pattern suggested by Ryan of a while loop
around our termination condition, and g_main_context_iteration().

pull-local: Fix race condition

https://bugzilla.gnome.org/show_bug.cgi?id=701861

dracut: Add ostree-remount

Linux creates a copy of the soure mount flags when creating a bind
mount; if the source is read-only, then the bind mount is.

The problem is that systemd will remount the rootfs read/write, but
each mount (/home, /var etc.) will still be read-only.  We need to
remount every bind mount except for /usr to read-write too.

This only "worked" with the old ostree-switch-root because it
effectively force mounted the rootfs read-write always, ignoring the
"ro" flag.

dracut: Also ensure we're using the systemd module

I can't work out how this happens otherwise in Fedora...

Add --with-dracut

This installs a Dracut module which parses the ostree= kernel command
line argument, and if given, sets up the OS/ at /sysroot, which
systemd's switch-root then moves into.  This only works if dracut is
configured to use systemd itself.